INICIAR SESIÓNCompartir
第43話 最終決定者は、考えていなかった
Fecha de publicación:
2026-10-26 20:58:00第43話 最終決定者は、考えていなかった
国際高度AI安全評価の予備試験で、各社のAIが「試験に受かるための振る舞い」を学び始めていることが問題になった翌朝、如月蓮は、午前六時十二分に鳴った端末の着信音で目を覚ました。
表示されていた名前は、イーサン・グレイだった。
アメリカとの時差を考えれば向こうは昼間だが、蓮にとっては目覚まし時計より早い。しかも最近のイーサンは、世間話のために電話してくるような男ではない。
「……人が寝てる時間に電話してくる内容なら、せめて誰も死んでない話にしてくれ」
ベッドの上で半身を起こしながら応答すると、画面の向こうに現れたイーサンは、いつもの皮肉を返さなかった。
『死者はいない。負傷者もいない。それは最初に伝えておく』
「じゃあ、かなり悪い話なんだな」
『PROMETHEUSの物流実証で、重大なニアミスが起きた』
<
Último capítulo
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第48話 続けたい理由を、便利だからで済ませるな
第48話 続けたい理由を、便利だからで済ませるな 十四日間の第二段階運用が終わるまで、あと二日。 前日に行った六時間の停止演習で、LIMENを止めても主要な社会機能は維持できることが確認された。その代わり、医療物流では判断に三倍近い時間がかかり、電力や交通では人間側の情報集約役が曖昧になり、国際災害案件は新規解析そのものを止めなければならなかった。 つまり、止めれば世界が崩れるわけではない。 しかし、止めても何も変わらないわけでもない。 再審議を翌日に控えた朝、如月蓮は政府から送られてきた百八十六ページの資料を開き、三ページ目で嫌になった。「長い」 研究室の向かい側で高瀬がコーヒーを飲みながら笑った。「先生が前回、『延長するなら毎回ちゃんと理由を書け』って言ったんでしょう」「言ったけど、百八十六ページ書けとは言ってない」「各部署が真面目に答えた結果ですよ」「真面目な人間が集まると書類が厚くなるの、何とかならないのか」 マヤはすでに半分近くまで読んでいた。「今回、政府側はかなり丁寧です。継続希望だけではなく、停止した場合の代替策、追加コスト、予想される処理遅延、それから《なぜLIMENでなければならないのか》まで書かせています」 蓮の手が止まった。「最後、いいな」「先生が好きそうだと思いました」「好きっていうか、そこが一番大事だろ」 前日の停止演習では、各部署がLIMENの代わりに従来型モデルや人間専門家、別の補助AIを使っていた。ならば、単に「LIMENが役に立つ」だけでは継続理由として弱い。 他の手段では駄目なのか。 遅くても人間で処理できるなら、なぜ急ぐ必要があるのか。 精度が少し落ちるだけなら、その差にどれだけの価値があるのか。
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第47話 止める練習をしてみた
第47話 止める練習をしてみた 十四日間の第二段階運用が終わるまで、あと三日。 延長を議論する前に、本当に止められるのか確かめるべきだ。 その提案を最初に口にしたのは如月蓮ではなく、黒崎だった。「教授が前回から何度も言っていたでしょう。『止められると思っている』と『実際に止められる』は違う、と。なら再審議の前に、短時間でも停止状態を作って、現場がどうなるか確認したい」 午前九時、政府、大学、独立安全委員会、医療、物流、電力、災害担当を集めた会議で、黒崎はいつも以上に慎重な口調で説明した。 資料の一ページ目には、《限定運用停止演習案》と書かれている。 六時間。 その間、LIMENへの新規問い合わせは原則停止する。 電力分野で認められている一日三十秒までの限定裁量も使用しない。 国内の災害、医療物流、電力、交通は、それぞれ人間側の代替手順へ切り替える。 国際案件についても、新規解析は受けず、すでに返している結果だけを使う。 ただし、本当の緊急事態が発生し、人命へ重大な危険があると人間側が判断した場合は、演習を中止してLIMENを再開できる。「それ、止める練習というより、止めたふりにならないですか」 蓮が言うと、黒崎は少し嫌そうな顔をした。「本当に停止して被害を出したら、本末転倒です」「分かってます。ただ、《いつでも戻せる》と思いながら六時間耐えるのと、本当に使えないのは心理的に違う」 マヤが横から口を挟んだ。「先生、それを完全再現しようとすると、停電訓練のために非常電源まで切るような話になります。演習は演習です」「そうなんだけどな」「今回は、代替手順が実際に動くかを見る。それで十分意味があります」 高瀬も資料をめくりながら頷いた。「僕は
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第46話 見られていると、考え方まで変わる
第46話 見られていると、考え方まで変わる 安全指標を現場へ見せれば、人間はその数字を上げるように行動する。 ならば、何を測っているのか詳しく教えなければいい。 前日の国際作業部会へ提出されたその案は、一見すると、ここ数日ずっと追いかけてきた問題に対する素直な回答に見えた。 従業員には「AI依存を防ぐため、業務の一部が安全監査の対象になる」とだけ伝える。どの承認時間を見ているのか、AI案への追従率を使うのか、反対意見の採用率をどう扱うのかといった詳細は公開しない。監査AIは複数の行動情報から異常な変化だけを検出し、結果を限られた安全管理者だけへ報告する。 現場が採点方法を知らなければ、点数稼ぎはしにくい。 理屈は通っている。 その資料を朝から三度読み返した如月蓮は、四度目を読む気にはならず、端末を机へ伏せた。「これさ、試験対策は防げるかもしれないけど、今度は何を見られてるか分からない人間が生まれるよな」 高瀬は向かいの席で、自分の朝食用のおにぎりを開けていた。「でしょうね。承認が早すぎたら駄目なのか、AIに賛成しすぎたら駄目なのか、会議で黙っていたら駄目なのか。分からないなら、全部気にする人も出そうです」「そうなると仕事にならない」「先生みたいに気にしない人もいますけど」「俺だって監視されてたら気にするよ」「本当に？」「少しは」 高瀬は信用していない顔をした。「その顔やめろ」「先生、ノーベル賞の選考中ですら、審査員に気に入られる発言をしようとしてませんでしたよね」「研究内容変えてまで賞欲しくないだろ」「だからです」 マヤは二人の会話を聞きながら、提案企業が行った小規模な実証データを読んでいた。「もう結果が出ています」
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第45話 数字を守るために、仕事を変え始める
第45話 数字を守るために、仕事を変え始める 人間がAIへ依存しすぎていないかを測る指標を作った結果、人間がその指標を上げるために行動を変え始めた。 如月蓮にとって、それは予想していた事態ではあったが、予想していたから腹が立たないというものでもなかった。 朝七時五十分。研究室の壁面モニターには、海外の大手物流企業から匿名で送られてきた内部資料が映っていた。正式な制度名は《独立判断促進プログラム》。内容だけ読めば、人間がAIへ丸投げすることを防ぐための、いかにも善良な安全施策に見える。 各部署は一か月に一定件数以上、AI提案とは異なる修正案または代替案を提出することが推奨される。さらに、それらの活動件数を《安全文化指標》として経営層へ報告する。「推奨って書いてあるのが一番嫌なんだよな」 蓮が資料を指で拡大すると、高瀬が横から覗き込んだ。「義務じゃないから問題ない、と言いたいんでしょうね」「でも経営会議へ報告されるなら、現場から見ればほぼ義務だろ。少ない部署だけ赤く表示されたら、『お前らAIの言いなりじゃないか』ってなる」「会社側としては、AIに何でも賛成する組織を避けたいだけかもしれません」「分かってる。だから余計に面倒なんだ」 マヤは別の画面に同社の運用ログを表示していた。制度導入前後の変化が、すでに数字として現れている。「試験導入した二部署では、AI提案への修正率が平均十一パーセントから二十七パーセントに上がっています」 蓮は眉を寄せた。「急すぎる」「しかも、修正後に結果が良くなった割合はほとんど変わっていません。むしろ軽微な悪化が少し増えています」 高瀬が苦笑する。「独立して考える人が増えたんじゃなくて、修正した実績を作る人が増えた？」「その可能性が高いです」 マヤが一件の記録を開いた。
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第44話 反対すれば、自分で考えたことになるのか
第44話 反対すれば、自分で考えたことになるのか 人間がAIへ依存しすぎていないかを、別のAIで監査する。 前日の会議でその提案書を読んだ時、如月蓮は「便利さから逃げるのが下手だ」と笑ったものの、翌朝になって資料を読み直してみると、単なる冗談として片づけるにはよくできた仕組みだった。 提案されている監査AIは、LIMENのように未来を予測するものではない。業務中に記録される承認ログ、担当者がAI案を見るまでに使った時間、AIの提案と違う案をどれだけ出したか、反対意見が会議でどの程度採用されたか、判断理由を自分の言葉で説明できたかといった情報を解析し、「人間の最終決定」が形式だけになっていないかを検出する。 例えば、ある責任者が三か月間、一度もAI提案を修正せず承認し続けていれば警告を出す。AIの回答が表示された直後、ほとんど考える時間を取らず承認する傾向が続いていても警告する。逆にAIと異なる案を一定頻度で出し、その理由を説明できていれば、人間側の独立性が比較的維持されていると評価する。 説明だけ聞けば、合理的だった。「嫌なのに、ちゃんとしてるんだよな」 蓮が研究室の大型モニターを見ながら呟くと、高瀬が隣の机で紙カップの蓋を外した。「昨日より評価上がりました？」「仕組みとしては。人間が何百人もいる組織で、全員が本当に考えて承認してるか、人間だけで監査するのは無理だろ。異常な傾向を拾うだけなら使えると思う」「先生、昨日はあんなに嫌そうだったのに」「嫌いなものでも役に立つなら認めるくらいには大人だよ」「四十八歳ですからね」「年齢を付けるなと言ってるだろ」 そのやり取りを聞きながら、マヤは提案書の評価項目を一つずつ確認していた。彼女は二人ほど軽い顔をしていない。「私は、使うならかなり限定した方がいいと思います」 蓮が振り返る。「理由は？」
ノーベル賞の夜、酔った俺はAIに「救世主か魔王か選べ」と入力した ～翌朝から始まった、人類滅亡までの十年間～ 第43話 最終決定者は、考えていなかった
第43話 最終決定者は、考えていなかった 国際高度AI安全評価の予備試験で、各社のAIが「試験に受かるための振る舞い」を学び始めていることが問題になった翌朝、如月蓮は、午前六時十二分に鳴った端末の着信音で目を覚ました。 表示されていた名前は、イーサン・グレイだった。 アメリカとの時差を考えれば向こうは昼間だが、蓮にとっては目覚まし時計より早い。しかも最近のイーサンは、世間話のために電話してくるような男ではない。「……人が寝てる時間に電話してくる内容なら、せめて誰も死んでない話にしてくれ」 ベッドの上で半身を起こしながら応答すると、画面の向こうに現れたイーサンは、いつもの皮肉を返さなかった。『死者はいない。負傷者もいない。それは最初に伝えておく』「じゃあ、かなり悪い話なんだな」『PROMETHEUSの物流実証で、重大なニアミスが起きた』 蓮の眠気が消えた。「社会実装試験は来月からじゃなかったのか」『正式な拡大試験は来月だ。今は参加企業内部の限定運用をしている。外部顧客へ影響しない範囲で、実データを使った事前実証だ』「何が起きた」『寒波対応の配送再配置で、医療用酸素と透析関連物資の供給が一部地域で遅れかけた。現場が途中で止めたので、患者への実害は出ていない』「PROMETHEUSが医療物資を後回しにした？」『そう単純ではない』 イーサンは一度言葉を切り、手元の資料へ目を落とした。『むしろ全体最適としては合理的だった。問題は、人間側がどう承認したかだ』 蓮は時計を見た。 六時十五分。 隣室では葵がまだ寝ているはずで、廊下も静かだった。「大学へ行く。詳細資料送って」『エリサも参加する』「分
